Tags: #memory optimization

lyogavin/airllm 38K stars,3500 行 Python。meta 空壳 + forward hook 临时驻 GPU + 预取下一层 + per-expert 流式,让 70B/671B/2.8T 模型跑进单卡 4GB 显存,完整保留 transformers 推理路径,新架构当日支持。